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Обобщенный алгоритм обучения Хебба 
при решении задачи кодирования изображений 


В статье показана работа обобщенного алгоритма обучения Хебба при решении задачи кодирования 
изображений. Предложена процедура для кодирования изображений на основе этого алгоритма. 


Многие задачи, для решения которых используются нейронные сети, могут 
рассматриваться как частные случаи следующих основных проблем: классификация 
объектов, аппроксимация функции по конечному набору её значений, оптимизация, 
построение отношений на множестве объектов, смысловой поиск информации и ас- 
социативная память, фильтрация, сжатие информации, управление динамическими 
системами, нейросетевая реализация алгоритмов вычислительной математики. 

В статье показана работа обобщенного алгоритма обучения Хебба при решении 
задачи кодирования изображений. Предложена процедура для кодирования изобра- 
жений на основе этого алгоритма. 

Целью работы является разработка новых эффективных структурных представ- 
лений графических изображений, их математических моделей и методов кодирования, 
применение которых качественно повышает возможности передачи и использования 
графической информации в интеллектуальных телекоммуникационных системах. 

Для достижения поставленной цели в работе решаются следующие задачи: 

— разработка и исследование модели пространственной структуры графического изоб- 
ражения, обеспечивающей полноту и точность описания всех его структурных 
элементов и их взаимосвязей; 

— разработка и исследование структурного метода и алгоритмов анализа и кодирования 
графических изображений, обеспечивающих полноту и точность воспроизведения их 
структуры; 

— разработка метода кодирования изображений на основе анализа главных компо- 
нентов; 

— разработка технологии и создание программного обеспечения обработки графической 
информации, реализующих разработанные методы кодирования графических изоб- 
ражений. 


Анализ главных компонентов на основе фильтра Хебба 


Фильтр Хебба извлекает первый главный компонент из входного сигнала. Ли- 
нейная модель с одним нейроном может быть расширена до сети прямого распрост- 
ранения с одним слоем линейных нейронов с целью анализа главных компонентов для 
входного сигнала произвольной размерности [1]. 

Для большей конкретизации рассмотрим сеть прямого распространения, пока- 
занную на рис. 1. В ней сделаны следующие допущения относительно структуры. 
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1. Все нейроны выходного слоя сети являются линейными. 
2. Сеть имеет т входов и / выходов. Более того, количество выходов меньше 
количества входов (т.е. [< т). 


и о 
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№ 
№) 
и У, 


Рисунок 1 — Сеть прямого распространения с одним слоем 
вычислительных элементов 


Обучению подлежит только множество синаптических весов {©}, соединяю- 
щих узлы 1-го входного слоя с вычислительными узлами /-го выходного слоя, где 
1=1,2,...т;]=1,2,.... {. 

Выходной сигнал у{и) нейрона / в момент времени и, являющийся откликом на 
множество входных воздействий {х(и)! = 1, 2,..., т}, определяется по следующей 


формуле: 
У, (п) = >в, (п)х (п), А (1) 


Синаптический вес @/„п) настраивается в соответствии с обобщенной формой 
правила обучения Хебба [1]: 


ло, (ит (иди) (в) (ви) | 


Я О, ОА 
где хи) — 1-й компонент входного вектора х(и) размерности тх1; / — требуемое число 


(2) 


главных компонент; До, (п) — коррекция, применяемая к синаптическому весу @, (п) 


в момент времени п; 77 — параметр скорости обучения. Обобщенный алгоритм обучения 


Хебба (зепегайгеа НебМап @вогийт — СНА) (2) для слоя из / нейронов включает в себя 
следующий алгоритм (3) для одного нейрона в качестве частного случая, т.е. для [= 1: 


6, (п +1) =6,(п)+пу(п)[х, (п) у(п), (п) + О(п’) | 
где 7 — параметр интенсивности обучения ([еагите-ише рагтатейег); элемент 0("’) пред- 


ставляет собой слагаемые второго и более высоких порядкой по Й. Для малых 


значений 7 это слагаемое вполне обосновано может быть проигнорировано. 
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Алгоритм ОНА в сжатом виде 


Вычисления, выполняемые обобщенным алгоритмом Хебба (СНА), являются 
простыми и их можно описать следующей последовательностью действий [2]. 


1. В момент времени и = 1 инициализируем синаптические веса ©, сети случайны- 


ми малыми значениями. Назначаем параметру скорости обучения 7] некоторое малое 


положительное значение. 

2. Дляп= 1,7 =1, 2,..., [иё=1,2,..., т вычислим (1) и (2). 

3. Увеличиваем значение и на единицу, переходим к шагу 2 и продолжаем до 
тех пор, пока синаптические веса @, не достигнуг своих установившихся (5еа4у-ие) 


значений. Для больших и синаптические веса @ „ нейрона] сходятся к 1-му компоненту 


собственного вектора, связанного с /-м собственным значением матрицы корреляции 
входного вектора х(и). 


Компьютерное моделирование: кодирование изображений 


Проверим работу обобщенного алгоритма обучения Хебба при решении задачи 
кодирования изображений (йпазе софт»). На рис. 2а показана семейная фотография, 
использованная для обучения. Обратите внимание на границы (е4е) фрагментов 
изображения. Это изображение формата 256 х 256 с 256 градациями серого цвета. 
Изображение было закодировано с помощью линейной сети прямого распространения, 
состоящей из одного слоя, содержащего 8 нейронов, каждый из которых имеет по 
64 входа. Для обучения сети использовались непересекающиеся блоки размером 8х 8. 
Эксперимент проводился для 2000 образцов сканирования этого изображения и 
маленького значения параметра скорости обучения, 7 =10^. 


На рис. 26 показаны маски размера 8 х 8, представляющие синаптические веса 
сети. Каждая из восьми масок отображает множество синаптических весов, связанных 
с конкретным нейроном сети. В частности, возбуждающие синапсы (положительные 
веса) показаны белым цветом, тормозящие (отрицательные значения) — черным, а 
серым цветом показаны нулевые веса. В наших обозначениях маски представляют 
собой столбцы матрицы И”, состоящей из 64 х 8 синаптических весов, полученной 
после сходимости обобщенного алгоритма обучения Хебба. 

Для кодирования изображения использовалась следующая процедура. 

1. Каждый из блоков изображения размером 8 х 8 пикселей был умножен на каж- 
дую из 8 масок, показанных на рис. 26. Таким образом, генерируются 8 коэффици- 
ентов кодирования изображения. На рис. 2в показано реконструированное изображение, 
основанное на 8 доминирующих компонентах без дискретизации. 

2. Каждый из коэффициентов был равномерно дискретизирован на множестве 
битов, приблизительно пропорциональном логарифму дисперсии этого коэффициента 
на изображении. Таким образом, первым трем маскам было выделено по 6 бит, сле- 
дующим двум — по 4, следующим двум — по 3, а оставшейся маске — 2 бита. На 
основе этого представления для кодирования каждого из блоков размерности 8х 8 
было выделено 34 бита, что соответствует уровню сжатия 0,53 бита на пиксель. 

Для восстановления изображения на основе дискретных коэффициентов все маски 
были взвешены своими коэффициентами дискретизации, после чего они использова- 
лись для восстановления каждого из блоков рисунка. Реконструированная семейная 
фотография с уровнем сжатия 15:1 показана на рис. 2г. 
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6) веса 


в) использование первых 8 компонентов г) сжатие 15:1 


Рисунок 2 — Семейная фотография, использованная в эксперименте по кодированию 
изображений (а); маски размером 8 х 8, представляющие собой синаптические веса, 
обучаемые по алгоритму СНА (6); семейная фотография, восстановленная с помощью 
8 доминирующих главных компонентов без дискретизации (в); реконструированная 
фотография с уровнем сжатия 15:1 при использовании дискретизации (г) 


В качестве второго примера для иллюстрации обобщенного алгоритма обучения 
Хебба рассмотрим изображение морского пейзажа (рис. За). На этом рисунке внима- 
ние акцентируется на текстурной информации. На рис. 36 показаны маски размером 
8х 8 синаптических весов сети. Выполняемая процедура аналогична описанной выше. 
Обратите внимание на различия в масках на рис. 36 и рис. 26. На рис. Зв показано 
реконструированное изображение морского пейзажа, основанное на 8 доминирующих 
главных компонентах без дискретизации. Для изучения эффекта от дискретизации 
выходы первых двух масок были дискретизированы с использованием 5 бит для каж- 
дой, третья — с использованием 3 бит, а оставшиеся маски — с использованием 2 бит 


для каждой. 
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Рисунок 3 — Изображение морского пейзажа (а); 
маски 8х8, представляющие синаптические 
веса, обучаемые по алгоритму НСА и при- 
меняемые к изображению (6); восстанов- 
ленное изображение морского пейзажа с 
использованием 8 доминирующих главных 
компонентов (в); восстановленное изображе- 
ние с уровнем сжатия 22:1 при использова- 
нии масок из пункта (6) без дискретизации 
(г); восстановленное изображение морского 
пейзажа с использованием масок, показан- 
ных на рис. 36, с дискретизацией для до- 
стижения уровня сжатия 22:1, такого же, 
как в частях (г), (д) 
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Таким образом, для кодирования каждого из блоков 8 х 8 потребовалось 23 бита. 
В результате при кодировании в среднем использовалось 0,36 бита на пиксель. На рис. 3г 
показано восстановленное изображение морского пейзажа, в котором используются 
маски, дискретизированные описанным выше способом. Общий уровень сжатия сос- 
тавил 22:1. 

Для проверки общей эффективности «обобщения» обобщенного алгоритма Хебба 
использовались маски, показанные на рис. 26, для декомпозиции изображения морс- 
кого пейзажа (рис. За). При этом применялась та же процедура, которая использо- 
валась для восстановления рис. 3г. Результат этого восстановленного изображения 
показан на рис. 39, с уровнем сжатия 22:1, т.е. с тем же уровнем, который был получен 
для рис. 3г. Несмотря на то, что рис. 3г и д имеют поразительное сходство, мы видим, 
что на первом из них более «правдиво» представлена текстурная информация. В резуль- 
тате этот рисунок выглядит менее «блочным», чем рис. 30. Это различие объясняется 
разными весами сети. Первые четыре веса, полученные после обучения нейронной 
сети на изображениях с семейной фотографией и морским пейзажем, являются до- 
вольно сходными. Однако последние четыре веса, кодирующие для первого рисунка 
информацию о контурах, в случае с морским пейзажем содержат информацию о текс- 
туре. Таким образом, для восстановления текстурной информации морского пейзажа 
применялись «контурные» веса, что и привело к блочному представлению. 
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Узагальнений алгоритм навчання Хебба при розв’язанн! задач! кодування зображень 

У статт! показана робота узагальненого алгоритму навчання Хебба при рипенн! задач! кодування 
зображень. Запропонована процедура для кодування зображень на основ! цього алгоритму. 
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